SIGNAL REPRESENTATION QUALITY ENHANCEMENT BY APPLYING MATHEMATICAL OPERATIONS TO TIME-FREQUENCY DISTRIBUTIONS

Vremensko-frekvencijske distribucije efikasan su alat u analizi i obradi nestacionarnih signala. Same karakteristike nestacionarnih signala (frekvencijska modulacija, svojstvo višekomponentnosti) dovode do odstupanja od idealnog vremensko-frekvencijskog prikaza, tj. prikaza bez unutarnjih i vanjskih interferencija. U ovom je radu opisan učinak određenih matematičkih operacija na vremensko-frekvencijske distribucije u smislu poboljšanja kvalitete prikaza. Operacijama na spektrogramu teži se poboljšanju koncentracije energije oko trenutne frekvencije signala, dok se množenjem Wigner-Villove distribucije pseudo Wigner-Villovom distribucijom teži uklanjanju interferencije, što je i uspoređeno s već poznatim maskiranjem Wigner-Villove distribucije spektrogramom.Time-frequency distributions represent an efficient tool in the analyzing and processing of nonstationary signals. Some characteristics of nonstationary signals (such as frequency modulation or the property of multi-components) result in the appearance of undesirable interference terms (cross-terms) which do not exist in an ideal time-frequency representation. In this paper, several mathematical operations are used in order to enhance the quality of time-frequency distributions representation. Mathematical operations applied to the spectrogram have led to an improvement in the concentration of the signal energy about its instantaneous frequency. The multiplication of the Wigner-Ville distribution by the Pseudo Wigner-Ville distribution, on the other hand, is proposed as a method for cross-terms suppression, and its performance is numerically compared to that of the Wigner-Ville distribution masked by the spectrogram

Adaptive Methods for Video Denoising Based on the ICI, FICI, and RICI Algorithms

In various applications, reducing noise from video sequence is of crucial importance. In this paper, we have presented performance analysis of the novel video denoising method based on the relative intersection of confidence intervals (RICI) rule, and compared it to the methods based on the intersection of confidence intervals (ICI) rule and the fast ICI (FICI) rule. Detailed comparisons, based on two test video signals, are provided for a range of noise levels and different noise types. The RICI video denoising method has shown to outperform the original ICI based method, both in the algorithms execution time, reducing it by up to 11 %, and in the level of noise suppression, improving it by up to 10 dB. It also outperforms the FICI based video denoising method by up to 12.7 dB for the two test videos

Detecting the number of components in a non-stationary signal using the Rényi entropy of its time-frequency distributions

A time-frequency distribution provides many advantages in the analysis of multicomponent non-stationary signals. The simultaneous signal representation with respect to the time and frequency axis defines the signal amplitude, frequency, bandwidth, and the number of components at each time moment. The Rényi entropy, applied to a time-frequency distribution, is shown to be a valuable indicator of the signal complexity. The aim of this paper is to determine which of the treated time-frequency distributions (TFDs) (namely, the Wigner-Ville distribution, the Choi-Williams distribution, and the spectrogram) has the best properties for estimation of the number of components when there is no prior knowledge of the signal. The optimal Rényi entropy parameter α is determined for each TFD. Accordingly, the effects of different time durations, bandwidths and amplitudes of the signal components on the Rényi entropy have been analysed. The concept of a class, when the Rényi entropy is applied to TFDs, is also introduced

Procjena kompleksnosti nestacionarnih signala zasnovana na Renyijevoj entropiji

In signal processing applications, the analyst is often faced with the problem of signal components identification, originating from one or more sources. The presence of different components can be assessed by the detection of their time supports in the time-frequency plane. In this thesis, it is shown how the instantaneous number of components in a signal can be estimated using the time-frequency Rényi entropy. Unlike the global entropy estimation, which is limited to signals with components being copies of a reference component that must be known to the user, the local Rényi entropy estimation is not limited to particular signal classes nor it requires prior knowledge of the signal. Using one of the most popular time-frequency distributions, the spectrogram, this thesis proves the local applicability of the counting property of the Rényi entropy in practical applications. The problem of quantifying the signal information content, i.e. the number of its components, in the case of components with unequal amplitudes, is addressed by a refined estimation algorithm. The algorithm allows the detection of the time supports of the spectral components, providing important information for components extraction methods. More complex cases are also analyzed, including signals with intersecting components in the time-frequency plane. The features of the local Rényi entropy estimations are found to be valid indicators of components crossings, with the potential use as a criterion in adaptive optimization of non-strictly positive time-frequency distributions. The results obtained by the local Rényi entropy estimation are shown to be valuable input information in blind source separation and classification procedures as well.Nestacionarni signali predmet su interesa različitih područja inženjerskog djelovanja. Nestacionarni se signali često susreću u civilnim i vojnim aplikacijama (sonar, radar), biomedicinskim aplikacijama (EEG signali), bežične komunikacije (signali promjenjive frekvencije), nadzor stanja strojeva (vibracije strojeva), itd... Identifikacija različitih komponenata, koje su rezultat jednog ili više izvora, problem je koji se susreće u mnogim aplikacijama. Primjena lokalne Rényijeve entropije na vremensko-frekvencijske distribucije takvih signala omogućava estimaciju broja komponenti prisutnih u kratkom vremenskom intervalu vremenko-frekvencijske distribucije. U ovoj je disertaciji analizirana generalizirana Rényijeva entropija primijenjena na kratki vremenski interval vremensko-frekvencijske distribucije. Definirani je pojednostavljeni model kratkog vremenskog intervala pozitivne vremensko-frekvencijske distribucije. Rényijeva entropija kratkog vremenskog intervala vremensko-frekvencijske distribucije definirana je za analizirani višekomponentni signal i za referentni signal (signal konstantne frekvencije koji je proizvoljno odabran). Predloženi pristup koristi kriterij usporedbe lokalnih entropija analiziranog i referentnog signala te na taj način prevladava ograničenje estimacije globalnom entropijom koja ima svojstvo prebrojavanja samo u slučaju kada se višekomponentni signal sastoji od jednakih komponenti pomaknutih u vremenu i/ili frekvenciji. Teorijskom analizom pokazano je da Rényijeva entropija ima svojstvo prebrojavanja i kad se primijeni lokalno. Teorijska primjenjivost svojstva prebrojavanja lokalne Rényijeve entropije potvrđena je opsežnim testiranjem na realnim i sintetičkim signalima. Rezultat lokalne entropijske procjene kompleksnosti nestacionarnog signala je kontinuirana funkcija koja prikazuje trenutni broj komponenti u signalu. Nadalje, analiziran je slučaj signala čije komponente imaju različite spektralne amplitude, kako bi se pokazalo da je iz teorijskog kuta gledišta točan broj komponenti moguće estimirati samo kada su one iste amplitude (isto vrijedi i za globalnu Rényievu entropiju). Ovo ograničenje estimacije lokalnom Rényijevom entropijom prevladano je poboljšanim algoritmom koji omogućava ispravno detektiranje komponenti s različitom amplitudom koristeći činjenicu da se prisutnost jedne komponente može detektirati primjenom Rényijeve entropije bez obzira na njenu amplitudu. Upravo to svojstvo estimacijske metode upućuje na to da se iterativna metoda algoritma prebrojavanja može koristiti u slučaju komponenti s različitim amplitudama. Nakon detekcije jedne ili više komponenti, dominantna se komponenta mora ukloniti iz vremensko-frekvencijske distribucije. Kako bi se detektirale sve komponente koje se nalaze u signalu, iterativno je prebrojavanje potrebno ponavljati sve dok je maksimalni broj komponenti veći od jedan. Takav poboljšani pristup garantira detekciju komponenti različitih amplituda što je od velikog značaja kod algoritama za ekstrakciju komponenti iz njihove mješavine, kao i za učinkovito rukovanje računalnom memorijom. Također, analizirane su pojedine situacije koje dovode do smanjenja estimiranog broja komponenti. Naime, broj komponenti će se smanjiti ukoliko jedna komponenta završava, ali i ako se dvije komponente sijeku. U oba slučaja će se estimirani broj komponenti poklapati s brojem estimiranih vrhova u vremensko-frekvencijskoj ravnini. Mogućnost razlikovanja tih situacija ključna je kod određivanja ukupnog broja komponenti u signalu, kao i u algoritmima za ekstrakciju komponenti. Kako bi se utvrdio kriterij za detekciju presjeka komponenti, koristi se pojednostavljeni model spektrograma stacionarnih signala. Nadalje, definiran je pojednostavljeni model spektrograma nestacionarnog signala na temelju spektrograma stacionarnog signala (pod pretpostavkom da se za realizaciju spektrograma koristi kratki analizirajući vremenski otvor) kako bi se karakteristike lokalne entropije stacionarnih signala mogle primijeniti i na mnogo kompleksnijem slućaju nestacionarnih signala. Slućaju kad jedna komponenta završava analiziran je tako da se izvede izraz za lokalnu entropiju komponente koja je oštro odsječena. Na temelju izraza za lokalnu entropiju formiran je kriterij kojim će se razlikovati kraj komponente i njihovo presijecanje. Nadalje, razmotrena je uloga lokalne Rényieve entropije kao objektivnog kriterija za optimiranje prikaza vremensko-frekvencijskih distribucija. Ograničenje postojećih pristupa (minimalna entropija uzrokovana među-članovima) analizirana je kako bi se uveo novi kriterij entropijskog optimiranja za dizajn nepozitivnih, visoko koncentriranih vremensko frekvencijskih distribucija. Na kraju, primjena informacije o broju komponentata iz lokalne Rényijeve entropije, pokazana je na primjerima aplikacija za slijepo razdvajanje i klasifikaciju komponenata

Procjena kompleksnosti nestacionarnih signala zasnovana na Renyijevoj entropiji

In signal processing applications, the analyst is often faced with the problem of signal components identification, originating from one or more sources. The presence of different components can be assessed by the detection of their time supports in the time-frequency plane. In this thesis, it is shown how the instantaneous number of components in a signal can be estimated using the time-frequency Rényi entropy. Unlike the global entropy estimation, which is limited to signals with components being copies of a reference component that must be known to the user, the local Rényi entropy estimation is not limited to particular signal classes nor it requires prior knowledge of the signal. Using one of the most popular time-frequency distributions, the spectrogram, this thesis proves the local applicability of the counting property of the Rényi entropy in practical applications. The problem of quantifying the signal information content, i.e. the number of its components, in the case of components with unequal amplitudes, is addressed by a refined estimation algorithm. The algorithm allows the detection of the time supports of the spectral components, providing important information for components extraction methods. More complex cases are also analyzed, including signals with intersecting components in the time-frequency plane. The features of the local Rényi entropy estimations are found to be valid indicators of components crossings, with the potential use as a criterion in adaptive optimization of non-strictly positive time-frequency distributions. The results obtained by the local Rényi entropy estimation are shown to be valuable input information in blind source separation and classification procedures as well.Nestacionarni signali predmet su interesa različitih područja inženjerskog djelovanja. Nestacionarni se signali često susreću u civilnim i vojnim aplikacijama (sonar, radar), biomedicinskim aplikacijama (EEG signali), bežične komunikacije (signali promjenjive frekvencije), nadzor stanja strojeva (vibracije strojeva), itd... Identifikacija različitih komponenata, koje su rezultat jednog ili više izvora, problem je koji se susreće u mnogim aplikacijama. Primjena lokalne Rényijeve entropije na vremensko-frekvencijske distribucije takvih signala omogućava estimaciju broja komponenti prisutnih u kratkom vremenskom intervalu vremenko-frekvencijske distribucije. U ovoj je disertaciji analizirana generalizirana Rényijeva entropija primijenjena na kratki vremenski interval vremensko-frekvencijske distribucije. Definirani je pojednostavljeni model kratkog vremenskog intervala pozitivne vremensko-frekvencijske distribucije. Rényijeva entropija kratkog vremenskog intervala vremensko-frekvencijske distribucije definirana je za analizirani višekomponentni signal i za referentni signal (signal konstantne frekvencije koji je proizvoljno odabran). Predloženi pristup koristi kriterij usporedbe lokalnih entropija analiziranog i referentnog signala te na taj način prevladava ograničenje estimacije globalnom entropijom koja ima svojstvo prebrojavanja samo u slučaju kada se višekomponentni signal sastoji od jednakih komponenti pomaknutih u vremenu i/ili frekvenciji. Teorijskom analizom pokazano je da Rényijeva entropija ima svojstvo prebrojavanja i kad se primijeni lokalno. Teorijska primjenjivost svojstva prebrojavanja lokalne Rényijeve entropije potvrđena je opsežnim testiranjem na realnim i sintetičkim signalima. Rezultat lokalne entropijske procjene kompleksnosti nestacionarnog signala je kontinuirana funkcija koja prikazuje trenutni broj komponenti u signalu. Nadalje, analiziran je slučaj signala čije komponente imaju različite spektralne amplitude, kako bi se pokazalo da je iz teorijskog kuta gledišta točan broj komponenti moguće estimirati samo kada su one iste amplitude (isto vrijedi i za globalnu Rényievu entropiju). Ovo ograničenje estimacije lokalnom Rényijevom entropijom prevladano je poboljšanim algoritmom koji omogućava ispravno detektiranje komponenti s različitom amplitudom koristeći činjenicu da se prisutnost jedne komponente može detektirati primjenom Rényijeve entropije bez obzira na njenu amplitudu. Upravo to svojstvo estimacijske metode upućuje na to da se iterativna metoda algoritma prebrojavanja može koristiti u slučaju komponenti s različitim amplitudama. Nakon detekcije jedne ili više komponenti, dominantna se komponenta mora ukloniti iz vremensko-frekvencijske distribucije. Kako bi se detektirale sve komponente koje se nalaze u signalu, iterativno je prebrojavanje potrebno ponavljati sve dok je maksimalni broj komponenti veći od jedan. Takav poboljšani pristup garantira detekciju komponenti različitih amplituda što je od velikog značaja kod algoritama za ekstrakciju komponenti iz njihove mješavine, kao i za učinkovito rukovanje računalnom memorijom. Također, analizirane su pojedine situacije koje dovode do smanjenja estimiranog broja komponenti. Naime, broj komponenti će se smanjiti ukoliko jedna komponenta završava, ali i ako se dvije komponente sijeku. U oba slučaja će se estimirani broj komponenti poklapati s brojem estimiranih vrhova u vremensko-frekvencijskoj ravnini. Mogućnost razlikovanja tih situacija ključna je kod određivanja ukupnog broja komponenti u signalu, kao i u algoritmima za ekstrakciju komponenti. Kako bi se utvrdio kriterij za detekciju presjeka komponenti, koristi se pojednostavljeni model spektrograma stacionarnih signala. Nadalje, definiran je pojednostavljeni model spektrograma nestacionarnog signala na temelju spektrograma stacionarnog signala (pod pretpostavkom da se za realizaciju spektrograma koristi kratki analizirajući vremenski otvor) kako bi se karakteristike lokalne entropije stacionarnih signala mogle primijeniti i na mnogo kompleksnijem slućaju nestacionarnih signala. Slućaju kad jedna komponenta završava analiziran je tako da se izvede izraz za lokalnu entropiju komponente koja je oštro odsječena. Na temelju izraza za lokalnu entropiju formiran je kriterij kojim će se razlikovati kraj komponente i njihovo presijecanje. Nadalje, razmotrena je uloga lokalne Rényieve entropije kao objektivnog kriterija za optimiranje prikaza vremensko-frekvencijskih distribucija. Ograničenje postojećih pristupa (minimalna entropija uzrokovana među-članovima) analizirana je kako bi se uveo novi kriterij entropijskog optimiranja za dizajn nepozitivnih, visoko koncentriranih vremensko frekvencijskih distribucija. Na kraju, primjena informacije o broju komponentata iz lokalne Rényijeve entropije, pokazana je na primjerima aplikacija za slijepo razdvajanje i klasifikaciju komponenata

An Intensional Probability Theory: Investigating the Link between Classical and Quantum Probabilities

The link between classical and quantum theories is discussed in terms of extensional and intensional viewpoints. The paper aims to bring evidence that classical and quantum probabilities are related by intensionalization, which means that by abandoning sets from classical probability one should obtain quantum theory. Unlike the extensional concept of a set, the intensional probability is attributed to the quantum ensemble, which is contextually dependent. The contextuality offers a consistent realization of the measurement problem, which should require the existence of the time operator. The time continuum by Brouwer has satisfied such a requirement, which makes it fundamental to mathematical physics. The statistical model it provides has been proven tremendously useful in a variety of applications

Analysis of local time-frequency entropy features for nonstationary signal components time supports detection

Identification of different specific signal components, produced by one or more sources, is a problem encountered in many signal processing applications. This can be done by applying the local time-frequency-based Rényi entropy for estimation of the instantaneous number of components in a signal. Using the spectrogram, one of the most simple quadratic time-frequency distributions, the paper proves the local applicability of the counting property of the Rényi entropy. The paper also studies the influence of the entropy order and spectrogram parameters on the estimation results. Numerical simulations are provided to quantify the observed behavior of the local entropy in the case of intersecting components. The causes of decrements in the local number of time supports in the time-frequency plane are also studied. Finally, results are provided to illustrate the findings of the study and its potential use as a key step in multicomponent instantaneous frequency estimation

Stochastic Analysis of the Time Continuum

This paper considers the time continuum of Brouwer in terms of the complex system physics. It is based upon a processual definition of real numbers which concern the measurement problem. The multiresolution hierarchy of the measurement process is represented by the time operator acting on continuous signals. The wavelet domain hidden Markov model, which recapitulates statistical properties of the hierarchy, is verified experimentally on a wide range of signal ensembles. It indicates a novel method that has already been proved to be tremendously useful in applied mathematics

SIGNAL REPRESENTATION QUALITY ENHANCEMENT BY APPLYING MATHEMATICAL OPERATIONS TO TIME-FREQUENCY DISTRIBUTIONS

Vremensko-frekvencijske distribucije efikasan su alat u analizi i obradi nestacionarnih signala. Same karakteristike nestacionarnih signala (frekvencijska modulacija, svojstvo višekomponentnosti) dovode do odstupanja od idealnog vremensko-frekvencijskog prikaza, tj. prikaza bez unutarnjih i vanjskih interferencija. U ovom je radu opisan učinak određenih matematičkih operacija na vremensko-frekvencijske distribucije u smislu poboljšanja kvalitete prikaza. Operacijama na spektrogramu teži se poboljšanju koncentracije energije oko trenutne frekvencije signala, dok se množenjem Wigner-Villove distribucije pseudo Wigner-Villovom distribucijom teži uklanjanju interferencije, što je i uspoređeno s već poznatim maskiranjem Wigner-Villove distribucije spektrogramom.Time-frequency distributions represent an efficient tool in the analyzing and processing of nonstationary signals. Some characteristics of nonstationary signals (such as frequency modulation or the property of multi-components) result in the appearance of undesirable interference terms (cross-terms) which do not exist in an ideal time-frequency representation. In this paper, several mathematical operations are used in order to enhance the quality of time-frequency distributions representation. Mathematical operations applied to the spectrogram have led to an improvement in the concentration of the signal energy about its instantaneous frequency. The multiplication of the Wigner-Ville distribution by the Pseudo Wigner-Ville distribution, on the other hand, is proposed as a method for cross-terms suppression, and its performance is numerically compared to that of the Wigner-Ville distribution masked by the spectrogram

A local entropy-based algorithm for information content extraction from time–frequency distributions of noisy signals

International audienceIn this paper, an automatic adaptive method for identification and separation of the useful information content, from the background noise of time–frequency distributions (TFD) of multicomponent nonstationary signals, is presented. The method is based on an initial segmentation of the TFD information content by the K-means clustering algorithm, that partitions the initial data set in order to obtain K classes containing elements with similar amplitudes. It is shown that the local Rényi entropy (LRE) can accurately distinguish classes containing noise from classes with the useful information content, as a consequence of their basic structural differences in the time–frequency plane. Simulations are run to compare the performance of the proposed adaptive algorithm for blind separation of useful information from background noise (i.e. blind amplitude threshold) and non-adaptive (hard) amplitude TFD threshold procedures. Simulation results indicate that the proposed method performs better or closely to the best of five blindly chosen hard thresholds. The limitation of efficient hard-thresholding is the need of previous knowledge of the signal's structure and SNR or visual evaluation